วิวัฒนาการของความฉลาด: จากการพยากรณ์ไปสู่การให้เหตุผล

โมเดลเบื้องต้นที่ไม่ได้รับการปรับแต่งก่อนหน้าเป็นเพียงเครื่องมือทางสถิติขนาดใหญ่ที่ออกแบบมาเพื่อคาดการณ์คำถัดไป ในการเปลี่ยนแปลงฐานที่ดูเหมือนจะไม่สามารถคาดเดาได้ให้กลายเป็นผู้ช่วยที่ไว้ใจได้ วิศวกรจะใช้ กระบวนการหลังการฝึกอบรมซึ่งเป็นชั้นของการออกแบบอย่างตั้งใจ ที่ทำให้ระบบปัญญาประดิษฐ์ (AI) ไม่ใช่แค่กล่องดำที่ดูเหมือนเวทมนตร์อีกต่อไป แต่กลายเป็นระบบที่มีโครงสร้างและเป็นระบบมากขึ้น

1. กลไกของการปรับปรุง

• การปรับแต่งแบบมีผู้สอน (SFT):นี่คือช่วงเริ่มต้น (โหมดเย็น) โมเดลจะถูกฝึกโดยใช้ชุดข้อมูลคำสั่ง-คำตอบที่จัดเตรียมมาอย่างดี เพื่อเรียนรู้รูปแบบพื้นฐานของการสนทนาของมนุษย์
• การเรียนรู้แบบเสริมแรง (RL) พร้อมใช้งาน: ระบบสมัยใหม่ เช่น GRPO (การปรับปรุงนโยบายแบบเปรียบเทียบกลุ่ม) ช่วยให้โมเดลเรียนรู้ผ่านการลองผิดลองถูก โดยประเมินผลตอบแทนตามความถูกต้องทางตรรกะ โดยไม่จำเป็นต้องมีโมเดลตรวจสอบ (คริติกโมเดล) ที่ใช้ทรัพยากรหน่วยความจำมาก

2. ประสิทธิภาพผ่านการปรับแต่งที่ประหยัดทรัพยากร (PEFT)

การอัปเดตทุกพารามิเตอร์ — การฝึกซ้ำทั้งพารามิเตอร์หลายพันล้านตัว — เป็นไปไม่ได้ทางด้านคอมพิวเตอร์สำหรับ больш่าย ดังนั้นเราจึงใช้ การปรับแต่งที่ประหยัดพารามิเตอร์ (PEFT):

• LoRA และ QLoRA: เทคนิคเหล่านี้จะแทรกเมทริกซ์ขนาดเล็กที่สามารถเรียนรู้ได้ (เมทริกซ์การแยกลำดับ) เข้าไปในโมเดล ในขณะที่คงพารามิเตอร์เดิมไว้ไม่เปลี่ยนแปลง ทำให้สามารถปรับแต่งได้คุณภาพสูงแม้บนฮาร์ดแวร์ระดับผู้ใช้ทั่วไป

3. กฎของกระบวนการให้เหตุผล

การสร้างเครื่องมือให้เหตุผลที่แท้จริง (เช่น DeepSeek-R1) จำเป็นต้องมีลำดับขั้นตอนเฉพาะ 4 ขั้นตอน:

• ขั้นตอนที่ 1:เริ่มต้น (คำแนะนำพื้นฐาน)
• ขั้นตอนที่ 2:การเรียนรู้แบบเสริมแรงบริสุทธิ์ (พัฒนาภายใน ห่วงโซ่ความคิด/CoT)
• ขั้นตอนที่ 3:การสร้างข้อมูลจำลอง (การตัดทิ้งข้อมูลที่ไม่ดีจากกระบวนการให้เหตุผลที่มีคุณภาพสูง)
• ขั้นตอนที่ 4:การปรับสมดุลขั้นสุดท้าย (รวมการให้เหตุผลจำลองกับข้อมูลที่สร้างสรรค์และข้อมูลที่ถูกต้อง)